Họa sĩ Lê Văn Đệ sinh ngày 24 tháng 8 năm 1906, tại Mỏ Cày, tỉnh Bến Tre, trong một gia đình khá giả. Cha của ông là ông Lê Quang Hòe, cai tổng Minh Đạt, hàm Tri huyện, xuất thân là một nhà nho và là một nhà Đông y có tiếng. Lê Văn Đệ là người con thứ 10 trong gia đình 13 anh chị em.

Xuất thân từ gia đình Nho giáo, ông được thừa hưởng một nền giáo dục chu đáo [cần dẫn nguồn]. Lúc nhỏ, ông học trường tiểu học ở quê nhà. Sau khi tốt nghiệp tiểu học, do điều kiện gia đình, ông được cho lên Sài Gòn, theo học tại trường Trung học Lasan Taberd.